Lúc còn hưng thịnh, Bạch công tử từng tuyên bố ông sẽ không bao giờ nhờ vả người khác. Nếu có sạt nghiệp thì ông sẽ lái xe hơi ra Vũng Tàu và chạy thẳng xuống biển để kết liễu cuộc đời. Nhiều người cho rằng gọi là "ăn chơi" nhưng thực ra Bạch Công tử cũng chỉ lo cho gánh hát. Mặc dù vậy ông cùng với Công tử Bạc Liêu để lại khá nhiều giai thoại. Và trong giai đoạn đó, những người như Bạch Công tử, như thầy Năm Tú (người nhập cảng linh kiện từ Pháp về tổ chức lắp ráp và kinh doanh máy hát đĩa thời đó) đã có công trong việc phát triển cải lương ở Nam bộ. Vương Hồng Sển, trong hồi ký 50 năm mê hát của mình cũng viết: "Tôi có nhiều cảm tình riêng đối với Cậu Tư". Cải lương thất bại cũng là một trong những nguyễn nhân chính đưa ông đến bờ vực phá sản

Sau khi chia tay với Phùng Há, Bạch công từ ngày càng lún sâu vào nghiện ngập. Tài sản lần lượt bán hết, người ta thấy ông lang thang ở vườn Ông Thượng (nay là Tao Đàn, Thành phố Hồ Chí Minh). Mặc cho cơn nghiện và đói khát hành hạ, ông không hề ngửa tay xin xỏ hay nhờ vả ai.

Sau đó ông được một người thân mang về chăm sóc. Đó là ông Nguyễn Hoàng Phi[3], một điền chủ đất ở Chợ Gạo, con trai một người bạn thân của ông Lê Công Sủng, cha của Bạch công tử.

Cuối năm 1949, Nguyễn Hoàng Phi đưa Bạch công tử về về chăm sóc tại gia đình ông ở thị trấn Chợ Gạo. Nhưng vì hậu quả của nghiện ngập, Bạch công tử mất vào đầu năm 1950.

Theo ông Trương Ngọc Tường thì sau khi đã thành danh, nữ nghệ sĩ Phùng Há nhớ lại những người từng là ân nhân trước đây như thầy tuồng, đạo diễn, bà đã bỏ tiền ra xây mồ mả cho nhiều người. Trong đó có việc cải táng mộ Đốc phủ Lê Công Sủng và 2 người con của bà với Bạch Công tử đưa về Sài Gòn. Riêng mộ Bạch Công tử thì vẫn còn tại Chợ Gạo.